PNAS前沿：使用深度学习模拟宇宙流体动力学

导语

生成模型的目的是学习数据之间的复杂关系以创建新的模拟数据，但是当前的方法在高维情形下不可行。当数据的生成基于物理过程时，通过学习物理过程背后的物理规律，可以创建生成模型，获得物理过程中的对称性和约束，从而允许模型在高维情形下有较好的效果。近日发表于 PNAS 的一项研究，作者提出了拉格朗日深度学习（Lagrangian deep learning），并将其应用于学习宇宙学流体动力学模拟。

Biwei Dai、Uros Seljak | 作者

潘佳栋 | 编译

邓一雪 | 编辑

论文题目：

Learning effective physical laws for generating cosmological hydrodynamics with Lagrangian deep learning

论文地址：

https://www.pnas.org/content/118/16/e2020324118

宇宙大尺度结构形成的数值模拟对于从观测中提取宇宙信息至关重要。[1-7]原则上，流体动力学模拟能够预测宇宙中所有可观测物质的分布，从而可以模拟观测。但是，由于计算成本高，高分辨分子动力学模拟尚不可行。目前最广泛使用的方法是进行仅存在重力的N体模拟，然后使用半解析方法填充重子，这种方法有很强的假设性。[8][9]此外，许多宇宙学观测（例如X射线发射和Sunyaev–Zeldovich（SZ）发射）都是基于流体动力学的气体特性，例如气体密度、温度、压强等，在只有暗物质的情形下无法被建模模拟。

深度学习方法提供了一种替代方法，可以对宇宙可观测物质进行模拟。许多论文认为该任务是图像到图像的翻译问题，即将像素化的物质密度场作为输入数据，输出像素化的可观测场。这些方法要么使用诸如生成对抗网络（GAN）[10]和变分自编码器（VAE）[11][12]之类的深度生成模型求解条件概率分布p (ytarget|xinput)，要么使用深度卷积神经网络（DCNN）学习映射xinput→ytarget。该领域以前的工作十分广泛，例如识别光晕（质子晕）[13-16]，产生三维（3D）星系分布[17]，生成热SZ（tSZ）信号[18]，预测暗物质消亡的反馈信息[19]，学习中微子效应[20]以及从低分辨率模拟中模拟高分辨率特征[21][22]等。

与这些在像素（欧拉）空间中工作并将视场视为图像的方法不同，动力学建模的另一种方法是拉格朗日方法，即通过对单个粒子或流体元素的位移场进行建模来跟踪其运动。位移场比密度场包含更多的信息，因为不同的位移场可以产生相同的密度场，并且通常比密度场具有更多的高斯分布和线性分布。该空间中的现有方法仅能求解暗物质，例如近似的N体求解器[23][24]和DCNN[25]。

在这项工作中，我们提出了一种深度学习架构，即拉格朗日深度学习（Lagrangian deep learning），使用拉格朗日方法对宇宙暗物质和流体动力学进行建模。该模型是由物理学中有效理论思想促动的，一个真实物理过程可能由于过于复杂而不能模拟，以至于无法对它进行有效的，通常是粗粒度的物理学描述。一个典型的例子是有效场论，其中对微扰场论补充了服从对称性的有效场论概念，这些概念是对非扰动的小尺度效应的有效粗粒度描述。产生的有效描述具有与真实物理学类似的结构，但是具有必须满足的自由系数，并说明了非扰动的小尺度效应。

1. 拉格朗日深度学习

（1）模型提出的背景

宇宙暗物质和重子的演化可以通过偏微分方程来描述，该系统耦合重力、流体动力学和各种亚网格物理建模过程（例如恒星形成），这些过程从宇宙开始到今天都在不断演化。人们希望模拟很大一部分可观测宇宙，同时还以较小的数量级捕获三维空间中重要的物理过程。即使使用现代计算平台，最终的动力学模拟结果范围也过大。

一种有效的方法是将整个问题改写成人们可以解决的大规模问题，并有效地描述无法解决的小规模问题。在理论物理学中，这通常是通过重写拉格朗日算法来完成的，使得其为满足问题中对称性的最普遍形式，其中自由系数描述了小尺度粗粒度的影响。

在宇宙学中，大范围的演化受引力控制，可以很容易地通过扰动或数值求解。使用扰动展开的有效描述[31]，无法对小尺度情形和复杂的重子演化过程进行建模。虽然空间粗粒度是该想法的最普遍实现，但也可以将其应用于时间粗粒度。经典的偏微分方程求解器需要很多时间，花费巨大。临时粗粒化用更少的积分时间步长来代替偏微分方程求解，其特点是用有效描述代替了真实的物理方程，同时又保证了大尺度下的真实解[23][24]。

我们采用有效物理描述的思想，并将其与深度学习范式相结合，在该范式中，数据通过简单操作组成的多层映射，并且选择某些损失函数训练这些层的系数。虽然使用具有大量系数的神经网络描述了机器学习层，但是在这里，我们使用与真实物理定律相似的结构，将单个层视为单个时间步长的偏微分方程求解器。它的优点是可以保留问题固有的对称性。我们希望在宇宙环境中保持的主要对称是平移和旋转对称：物理定律没有首选的位置或方向。但是我们也希望满足现有的守恒定律，例如暗物质和重子质量守恒。

（2） 拉格朗日深度学习模型的建立

满足这两个要求的一个简单实现是描述暗物质或重子的拉格朗日位移。我们使用势场梯度来移动粒子，并且由于仅移动粒子，质量保持守恒。为了确保有效描述中的平移和旋转对称性，我们对傅立叶空间中的势场进行整形，使其仅取决于傅立叶波矢量的幅度。势场梯度可以看作是使粒子具有加速度的力，势场的形状等效于该力的径向相关性。此描述需要粒子的位置和速度，因此它是时间上的二阶偏微分方程，我们把这个描述用于暗物质。

对于重子，我们通过假设它们的速度与暗物质的速度相同来简化建模，这是因为速度受大尺度的支配。在这种情况下，我们可以使用电势梯度直接代替粒子的位置，因此，这个描述在时间上变为一阶方程。此外，通过对模型的简单扩展，我们可以将此概念应用于气压和温度等重子的可观测性质，此时守恒律不再适用。

完整的描述还要求我们定义势的来源。在物理学中，来源通常是粒子的某些属性，例如质量或电荷数。在这里，我们希望描述亚网格物理的复杂非线性过程，以及时空上的粗粒度。与引力相同，我们假设势场的源是密度的简单幂律，使用学习得到的格林函数转换这个势场。由于希望对几种不同的物理过程进行建模，我们将模型堆叠为多层。由于该模型包含了粒子数据，并且使用拉格朗日方法对位移场进行了建模，因此我们将此模型称为拉格朗日深度学习。

我们的特定目标是使用能够得到物理对称性和守恒定律的有效描述，从设定的早期宇宙初始条件开始，对暗物质和流体动力学可观测物质的分布进行建模。这种应用于时间和空间粗粒度的过程的一个示例是仅具有几个时间步长的暗物质演化，它结合了近似N体求解器的思想，并结合了势梯度下降（PGD）的过程捕获粗粒度[32][33]。我们首先使用准粒子网（PM）N体求解器FastPM[24]，它确保了在任意数量的时间步长上都能正确地进行大尺度变化，这是因为FastPM中越级积分器的反冲和漂移因子是根据线性（Zel'dovich）运动方程式进行改变的。

FastPM仅具有几层（通常为5到10），并且使用粒子位移，它被一层PGD的附加层实现，该层仅用于改善小规模暗物质的分布。此过程的所有步骤均为拉格朗日深度学习形式，因此可以视为其初始层。产生的暗物质图如图1所示，与Illustris TNG的整个N体模拟有很好的一致性，这也可以通过参考文献[32]中的数值比较得到证实。该程序不是在学习新的物理学，而是在学习对时间和空间粗粒度的有效物理学描述：在标准的N体模拟中，我们使用了10步代替了1,000多个时间步长，使用64个降低了质量分辨率的特征而不是具有完整空间分辨率的特征。

图1  仿真切片的可视化。第1行是输入的线性密度场。第2、4、6、8和10行分别是暗物质密度、恒星质量、电子动量密度（kSZ信号）、电子压强（tSZ信号）和X射线信号的预测。第3、5、7、9、11行是TNG300-1流体动力学模拟中的相应目标场。左，中和右列分别为红移z=0，z=0.5和z=1。

（3） 将模型扩展到复杂宇宙流体动力学问题

我们希望将这些思想扩展到更复杂的宇宙流体动力学问题上，在此我们希望通过有效描述来学习物理过程。重子具有耗散性和碰撞性，在被称为暗物质晕的高密度区域内能够发生许多物理过程，例如冷却、辐射、恒星形成、气体冲击、湍流等。可以将位移添加到暗物质粒子上，以模拟流体动力学过程，从而使位移后的粒子具有与重子相似的分布。焓梯度下降（EGD）就是这个想法的一个例子[32]：人们将小位移添加到暗物质粒子上，以改善小尺度的低分辨率的近似模拟并在总体上对重子进行物质分布建模。

在这项工作中，我们同时使用FastPM和N体模拟，并将它们与拉格朗日深度学习结合使用，以根据线性密度图预测重子可观测值。我们考虑对恒星质量，动力学SZ（kSZ）信号，tSZ信号和X射线在红移z=1、z=0.5和z=0时进行建模。暗物质粒子首先通过FastPM演化为这些红移，然后传递给拉格朗日深度学习网络以对重子进行建模。通过将输出与TNG300-1流体动力学模拟的目标场进行匹配，可以优化拉格朗日深度学习中的参数[26-30]。由于kSZ信号与电子动量成正比，tSZ信号与电子压强成正比，我们也对其进行建模。

除了FastPM，我们还考虑将拉格朗日深度学习模型与完整的N体仿真相结合。我们从TNG300-3-Dark（TNG300系列的低分辨率纯暗物质程序）中的红移z=1、z=0.5和z=0处获取粒子数据，并将粒子数据输入拉格朗日深度学习模型。我们将这两种混合仿真的性能与目标高分辨率流体动力学仿真进行了比较。

我们总结了这些模拟的数值参数，还列出了TNG300-3（TNG300的低分辨率流体动力学模拟程序）。TNG300-3具有我们的混合仿真的分辨率，是与我们的模型性能进行比较的自然参考。结果，基于FastPM的混合仿真和基于N体的混合仿真分别比目标仿真降低了7个和4个数量级计算量。与TNG300-3相比，混合仿真分别降低了4个和1个数量级的计算量，并且我们证明我们的仿真优于TNG300-3，与TNG300-1相当。

2. 模型模拟的结果

我们测量这些势场的统计数据，并进行定量比较。我们首先比较功率谱，这是宇宙学中使用最广泛的统计量。我们将传递函数和相关系数分布定义为：

其中Ppredict，target(k)是预测场和目标场之间的互谱。

在图2到6中显示了3D和2D互谱、传递函数、恒星质量超密度δ∗的相关系数、电子动量、电子压强和X射线强度。在大中尺度水平上，我们的混合仿真通常与目标场非常匹配（X射线除外，在这种情况下，基于FastPM的混合仿真无法预测红移为0.5和1时的X射线。而TNG300-3协议的效果通常较差，尤其是对于恒星质量而言。TNG300-3恒星质量的较大偏差可能部分是由于低分辨率TNG300-3无法分辨小晕中的恒星造成的。相反，通过对高分辨率流体动力学模拟TNG300-1进行训练，我们的低分辨率混合模拟能够比流体动力学模拟更好地模拟那些小星系。

在小尺度情况下，所有预测场都显示出与目标场的某些偏差。我们将在下一部分中讨论造成这些情况的可能原因。我们还看到，与基于FastPM的仿真相比，基于N体的混合仿真通常可以预测更大的小尺度能量。总体而言，基于N体的混合仿真的预测能量谱更好，尽管它可以预测太多的小尺度能量（例如，红移1处的kSZ信号）。

相关系数也显示在图2-5中。可以观察到，混合仿真比TNG300-3更好，基于N体的混合仿真比基于FastPM的仿真高一些。请注意，原则上，相关系数可以量化傅立叶分析的相位一致性，它是比传递函数更重要的统计量。这再次表明，与相同分辨率下的完整流体动力学模拟相比，我们模型的重子模拟更接近真实情况。

图2 测试集的3D能谱（上）、传递函数（中）和恒星质量超密度的相关系数（下）的比较。比较了红移为0、0.05和1的拉格朗日深度学习混合仿真TNG300-3和目标TNG300-1流体动力学仿真的数据。

图3 拉格朗日深度学习混合模拟TNG300-3和目标TNG300-1的流体动力学仿真之间的测试集2D能谱（上）、传递函数（中）和电子动量密度相关系数（下）的比较。

图4 拉格朗日深度学习混合模拟TNG300-3和目标TNG300-1的流体动力学仿真之间的电子压强的测试集3D能谱（上）、传递函数（中）和互相关系数（下）的比较。

图5 拉格朗日深度学习混合模拟TNG300-3和目标TNG300-1的流体动力学仿真之间的气体特性（与X射线发射成比例）的测试集3D能谱（上）、传递函数（中）和相关系数（下）的比较。

图6 拉格朗日深度学习混合仿真与目标TNG300-1流体动力学仿真之间的不同可观测值的测试集互谱之比。

大尺度结构的观测（例如弱透镜和星团）之间具有很强的相关性，因为它们都是由相同的基本物质分布确定的。这些观测量之间的相关性还包含其他信息，这些信息无法通过独立地分析每个可观察到的量来获得。相关系数还具有不增加噪声的优点。我们的混合仿真能够以较低的计算成本同时生成各种可观察量，因此对于相关性分析具有潜在的前景。

3. 讨论

我们提出了一个拉格朗日深度学习模型，用于从模拟或真实数据的输出中学习有效的物理定律。具体而言，在本文中，我们重点研究在宇宙学模拟中重子流体动力学的物理。我们通过将N体/准N体重力求解器与拉格朗日深度学习模型相结合来构建混合仿真。结果表明，基于FastPM的混合模拟和基于N体的混合模拟均能够用线性密度场生成各种红移的恒星质量、kSZ、tSZ和X射线图，其计算成本分别比目标高分辨率流体动力学模拟低几个数量级。我们在这些量上进行了自动能谱分析和相关分析，结果表明，混合模拟在相同的分辨率下通常优于流体动力学模拟。

（1）该模型提供有效描述

拉格朗日深度学习模型希望提供对基本物理学的有效描述。这样的描述必须服从问题的所有对称性，旋转和平移不变性是两个关键的对称性，但是其他对称性，例如质量守恒也可能出现。在本文中，我们认为实施这些对称会创建一个生成模型，该模型学习物理定律的有效描述，而不是学习数据分布。这是因为对称是生成模型上唯一必须明确实现的约束，一切都可以从数据中学到。

在这里，我们建议通过组合作用在描述系统（例如流体）的物理特性的有效粒子上的位移层，并按照拉格朗日方法移动粒子，来实现生成模型的学习。可以将粒子的位移理解为潜在物理过程的结果，而粒子传输则是诸如气体冷却、加热和湍流等过程的结果。输出层是一个非线性变换，是具有阈值的粒子密度场，用于模拟物理过程，例如恒星形成。

（2）该模型仅需要几个参数

系统的平移和旋转对称性对模型施加了严格的约束。这使人们可以使用很少的参数来建模复杂的过程并生成数据图像。因此，即使需要要描述极高的维数（108或更大）的系统，基本的有效物理描述也只需要少数几个参数。

少量的自由参数也使模型稳定且易于训练。一个重要的优点是，我们可以使用少量参数作为复杂的微模型的有效物理描述，这类似于微模型的有效场论描述中由于重整化而产生的自由参数。这表明拉格朗日深度学习方法可以替代模拟恒星形成过程的其他有效描述。与通常依赖于不可微模型的半解析方法相比，该方法具有明显的可区分性，因此人们可以使用反向传播来得出相对于初始密度场的最终可观测量的梯度。这可以很容易地嵌入到正演化模型的框架中，以根据观测结果重建初始条件[37]。

（3）该模型补充之前的宇宙流体动力学模拟模型

用拉格朗日深度学习进行流体动力学模拟的训练，并不是要替代之前的流体动力学模拟模型而是要对其进行补充：例如，它可以对粗网格进行插值并将其放大到更大的体积和更高的分辨率。相比之下，拉格朗日深度学习有可能消除对半解析方法的需求，半解析方法是当前大尺度结构中的标准范例。这些方法首先运行N体模拟，然后使用可观测物质的半解析形式填充其暗物质晕。拉格朗日深度学习不仅可以在相同的分辨率下获得相同的结果，而且还优于这些半解析方法。与N体仿真中的103个层级相比，除了最多6个拉格朗日深度学习层之外，混合模型以大约10个时间步长实现了这些目标。我们希望这会促进宇宙学大尺度结构（LSS）观测的模拟和对从LSS中获得的物理量的分析。

原文地址：https://www.pnas.org/content/118/16/e2020324118

参考文献

1. D. J. Eisenstein et al., SDSS-III: Massive spectroscopic surveys of the distant universe, the milky way, and extra-solar planetary systems. Astron. J. 142, 72 (2011).2. Z. Ivezic et al., LSST: From science drivers to reference design and anticipated data products. Bull. Am. Astron. Soc. 41, 366 (2009).3. D. Spergel et al., Wide-field infrarred survey telescope-astrophysics focused tele- scope assets WFIRST-AFTA 2015 report. arXiv Preprint. https://arxiv.org/abs/ 1503.03757 (Accessed 6 April 2021).4. A. Aghamousa et al., The DESI experiment part I: Science, targeting, and sur- vey design. arXiv Preprint. https://arxiv.org/abs/1611.00036 (Accessed 6 April 2021).5. L. Amendola et al., Cosmology and fundamental physics with the Euclid satellite. Living Rev. Relat. 21, 2 (2018).6. V. Springel et al., Simulations of the formation, evolution and clustering of galaxies and quasars. Nature 435, 629–636 (2005).7. J. DeRose et al., The Aemulus project. I. Numerical simulations for precision cosmology. Astrophys. J. 875, 69 (2019).8. A. A. Berlind, D. H. Weinberg, The halo occupation distribution: Toward an empiri- cal determination of the relation between galaxies and mass. Astrophys. J. 575, 587 (2002).9. P. Behroozi, R. H. Wechsler, A. P. Hearin, C. Conroy, Universemachine: The correlation between galaxy growth and dark matter halo assembly from z = 0-10. Mon. Not. R. Astron. Soc. 488, 3143–3194 (2019).10. I. Goodfellow et al., “Generative adversarial nets” in Advances in Neural Infor- mation Processing Systems, Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, K. Q. Weinberger, Eds. (MIT Press, 2014), pp. 2672–2680.11.D. P. Kingma, M. Welling, Auto-encoding variational Bayes. arXiv Preprint. https://arxiv.org/abs/1312.6114 (Accessed 4 April 2021).12. D. J. Rezende, S. Mohamed, D. Wierstra, Stochastic backpropagation and approx- imate inference in deep generative models. arXiv Preprint. https://arxiv. org/abs/1401.4082 (Accessed 6 April 2021).13. C. Modi, Y. Feng, U. Seljak, Cosmological reconstruction from galaxy light: Neural network based light-matter connection. J. Cosmol. Astropart. Phys. 2018, 028 (2018).14. P. Berger, G. Stein, A volumetric deep convolutional neural network for simulation of  mock dark matter halo catalogues. Mon. Not. R. Astron. Soc. 482, 2861–2871 (2019).15. D. K. Ramanah, T. Charnock, G. Lavaux, Painting halos from cosmic density fields of dark matter with physically motivated neural networks. Phys. Rev. D 100, 043515  (2019).16. M. Bernardini, L. Mayer, D. Reed, R. Feldmann, Predicting dark matter halo formation  in n-body simulations with deep regression networks. Mon. Not. R. Astron. Soc. 496,  5116–5125 (2020).17. X. Zhang et al., From dark matter to galaxies with convolutional networks. arXiv Preprint. https://arxiv.org/abs/1902.05965 (Accessed 6 April 2021).18. T.Tro ̈ster,C.Ferguson,J.Harnois-De ́raps,I.G.McCarthy,Paintingwithbaryons:Aug- menting n-body simulations with gas using deep generative models. Mon. Not. R. Astron. Soc. Lett. 487, L24–L29 (2019).19. F. List, I. Bhat, G. F. Lewis, A black box for dark sector physics: Predicting dark matter  annihilation feedback with conditional GANs. Mon. Not. R. Astron. Soc. 490, 3134– 3143 (2019).20.E. Giusarma et al., Learning neutrino effects in cosmology with convolutional neural networks. arXiv Preprint. https://arxiv.org/abs/1910.04255 (Accessed 6 April 2021).21. D. K. Ramanah, T. Charnock, F. Villaescusa-Navarro, B. D. Wandelt, Super-resolution emulator of cosmological simulations using deep physical models. Mon. Not. R. Astron. Soc. 495, 4227–4236 (2020).22. Y. Li et al., AI-assisted super-resolution cosmological simulations. arXiv Preprint. https://arxiv.org/abs/2010.06608 (Accessed 6 April 2021).23. S. Tassev, M. Zaldarriaga, D. J. Eisenstein, Solving large scale structure in ten easy steps with Cola. J. Cosmol. Astropart. Phys. 2013, 036 (2013).24. Y. Feng, M.-Y. Chu, U. Seljak, P. McDonald, FastPM: A new scheme for fast simulations of dark matter and haloes. Mon. Not. R. Astron. Soc. 463, 2273–2286 (2016).25. S. He et al., Learning to predict the cosmological structure formation. Proc. Natl. Acad. Sci. U.S.A. 116, 13825–13832 (2019).26. A. Pillepich et al., First results from the IllustrisTNG simulations: The stellar mass content of groups and clusters of galaxies. Mon. Not. R. Astron. Soc. 475, 648–675 (2018).27. J. P. Naiman et al., First results from the IllustrisTNG simulations: A tale of two elements–chemical evolution of magnesium and europium. Mon. Not. R. Astron. Soc. 477, 1206–1224 (2018).28. F. Marinacci et al., First results from the IllustrisTNG simulations: Radio haloes and magnetic fields. Mon. Not. R. Astron. Soc. 480, 5113–5139 (2018).29. V. Springel et al., First results from the IllustrisTNG simulations: Matter and galaxy clustering. Mon. Not. R. Astron. Soc. 475, 676–698 (2018).30. D. Nelson et al., First results from the IllustrisTNG simulations: The galaxy colour bimodality. Mon. Not. R. Astron. Soc. 475, 624–647 (2018).31. J. J. M. Carrasco, M. P. Hertzberg, L. Senatore, The effective field the- ory of cosmological large scale structures. J. High Energy Phys. 2012, 82 (2012).32. B. Dai, Y. Feng, U. Seljak, A gradient based method for modeling baryons and matter in halos of fast simulations. J. Cosmol. Astropart. Phys. 2018, 009 (2018).33. B. Dai, Y. Feng, U. Seljak, S. Singh, High mass and halo resolution from fast low resolution simulations. J. Cosmol. Astropart. Phys. 2020, 002 (2020).34. D. H. Rudd, A. R. Zentner, A. V. Kravtsov, Effects of baryons and dissipation on the matter power spectrum. Astrophys. J. 672, 19 (2008).35. M. P. van Daalen, J. Schaye, C. M. Booth, C. D. Vecchia, The effects of galaxy formation on the matter power spectrum: A challenge for precision cosmology. Mon. Not. R. Astron. Soc. 415, 3649–3665 (2011).36. H.-J. Huang, T. Eifler, R. Mandelbaum, D. Scott, Modelling baryonic physics in future weak lensing surveys. Mon. Not. R. Astron. Soc. 488, 1652–1678 (2019).37.U.Seljak,G.Aslanyan,F.Yu,C.Modi, Towards optimal extraction of cosmological  information from nonlinear data. J. Cosmol. Astropart. Phys. 2017, 009 (2017).38. R. H. Byrd, P. Lu, J. Nocedal, C. Zhu, A limited memory algorithm for bound constrained optimization. SIAM J. Sci. Comput. 16, 1190–1208 (1995).39. D. Nelson et al., The IllustrisTNG simulations: Public data release. Comput. Astrophys. Cosmol. 6, 1–29 (2019).

（参考文献可上下滑动查看）

复杂科学最新论文

集智斑图顶刊论文速递栏目上线以来，持续收录来自Nature、Science等顶刊的最新论文，追踪复杂系统、网络科学、计算社会科学等领域的前沿进展。现在正式推出订阅功能，每周通过微信服务号「集智斑图」推送论文信息。扫描下方二维码即可一键订阅：

推荐阅读

点击“阅读原文”，追踪复杂科学顶刊论文